ماندلا پس از تحریم کنگره ی ملی آفریقا در سال 1960 هم چنان به فعالیت های ضد آپارتایدی خود ادامه داد و در آوریل 1961 به اجبار از فعالیت های عمومی کناره گیری رد.در همان سال وی به تاسیس امخونتو وی سیز وی (نیزه ملت)برای سازمان دهی تعلیمات نظامی عملیات مسلحانه بر علیه رژیم آپارتاید کمک نمود.

ماندلا در آگوست سال 1962 دستگیر شد. وی به تحریک مردم به اعتصاب و ترک کشور بدون گذر نامه متهم گردید و به 5 سال زندان محکوم شد.وقتی که دیگر رهبران کنگره ملی آفریقا در سال 1963 در ریونا دستگیر شدند،ماندلادر زندان دست به خرابکاری زد ، او به همراه هفت تن دیگر به حبس ابد محکوم شدند.ماندلا تا سال 1982 در زندان معروف جزیره روبن بسر می برد.وی پس از آن به زندان پالسمور و سپس به زندان ویکتور ورستر منتقل شد.ماندلا پس از رد پیشنهادات پره توریا برای آزادی مشروط وی در 11 فویه سال 1990 بدون هیچ شرطی از زندان آزاد گردید.

وی کمی پس از آزادی به عنوان معاون رئیس کنگره ملی آفریقا انتخاب شد.نلسون ماندلا در کنگره سال 1991 کنگره ملی آفریقا به عنوان رئیس این سازمان انتخاب گردید.